Đảo được tìm ra vào ngày 21 tháng 8 năm 1821 bởi tàu nước Anh tên Eliza Francis, (hay Eliza Frances) do Edward, Thomas và William Jarvis làm chủ[5]. Hoa Kỳ tuyên bố chủ quyền trên đảo không người này bằng Đạo luật Đảo Phân chim vào tháng 3 năm 1857 và chính thức thôn tính ngày 23 tháng 2 năm 1858. Phân chim được mang về Hoa Kỳ để sử dụng làm phân bón. Khoảng 21 năm, Đảo Jarvis được khai thác phân chim liên tục. Vào năm 1879 thì các doanh nghiệp Hoa Kỳ không còn hứng thú với việc khai thác phân chim nữa nên bỏ hoang đảo sau khi đã khai thác hàng ngàn tấn phân chim.

Vào ngày 3 tháng 6 năm 1889, Anh thôn tính hòn đảo này nhưng chưa từng thực hiện một chương trình khai khẩn nào hơn. Trong thời kỳ này không biết là phân chim có được khai thác hay không.

Hoa Kỳ tái chiếm và tuyên bố chủ quyền trở lại trên đảo vào 1935 như một lãnh thổ chưa sáp nhập (unincorporated territory) được quản lý bởi Bộ Nội vụ Hoa Kỳ ngày 13 tháng 5 năm 1936 đến 27 tháng 6 năm 1974.

Hoa Kỳ thuộc địa hóa đảo 26 tháng 3 năm 1935 đến 7 tháng 2 năm 1942 dưới thẩm quyền của hai trưởng ban kế tiếp đặc trách Vụ Thuộc địa Baker, Howland và Jarvis. Một tiềm thủy đỉnh Nhật Bản trồi lên mặt nước ngoài bờ tây của đảo lúc bắt đầu Chiến tranh thế giới thứ hai. Những người thực dân cứ tưởng là của Hoa Kỳ đến để rước họ nên họ tập trung ra bờ biển nhưng họ bị pháo kích. Rất may là không có thương vong. Tất cả mọi người trên đảo được di tản vào tháng 2 năm 1942[6].

Khu định cư Millersville nằm ở phía tây của đảo là nơi có cư dân ở và có một trạm thời tiết từ năm 1935 là năm đảo được thuộc địa hóa cho đến Chiến tranh thế giới thứ hai khi nó bị bỏ rơi. Khu định cư này sau đó có người ở trở lại là năm 1957 bởi các khoa học gia thuộc nhóm Năm Địa cầu Quốc tế nhưng sau đó bị bỏ hoang vào 1958.

Từ 27 tháng 6 năm 1974 Đảo Jarvis được quản lý bởi Cục Bảo vệ Cá và Hoang dã Hoa Kỳ. Vào đảo cần có giấy phép sử dụng đặc biệt và chỉ dành riêng cho các khoa học gia và các nhà giáo dục mà thôi. Đảo được viếng thăm thường xuyên bởi Cục Bảo vệ Cá và Hoang dã Hoa Kỳ và Lực lượng Tuần Duyên Hoa Kỳ[7].